近年来，我们看到了处理敏感个人信息的应用程序（包括对话系统）的指数增长。这已经揭示了在虚拟环境中有关个人数据保护的极为重要的问题。首先，性能模型应该能够区分敏感内容与中性句子的句子。其次，它应该能够识别其中包含的个人数据类别的类型。这样，可以考虑每个类别的不同隐私处理。在文献中，如果有关于自动敏感数据识别的作品，则通常在没有共同基准的不同域或语言上进行。为了填补这一空白，在这项工作中，我们介绍了SPEDAC，这是一个新的注释基准，用于识别敏感的个人数据类别。此外，我们提供了对数据集的广泛评估，该数据集使用不同的基准和基于Roberta的分类器进行的，这是一种神经体系结构，在检测敏感句子和个人数据类别的分类方面实现了强大的性能。

我们介绍了基于框架的本体设计渠道（Frodo），这是一种自动从能力问题起草本体论的新方法和工具。能力问题表示为自然语言，是代表许多敏捷本体工程方法（例如极端设计（XD）或SAMOD）中需求的常见解决方案。Frodo在弗雷德（Fred）的顶部建造。实际上，它利用框架语义来绘制弗雷德（Fred）从能力问题中产生的RDF围绕域相关的边界，从而起草了域本体。我们进行了一项基于用户的研究，用于评估Frodo，以支持工程师的本体设计任务。研究表明，Frodo在这方面有效，由此产生的本体学草案是定性的。

在这项工作中，我们在文化象征主义的背景下填补了语义网络中的差距。建立早期的工作，我们介绍了模拟本体，这是一种模拟象征意义的背景知识，通过组合从Simulacra的权威理论和Jean Baudrillard的象征性和符号中所采取的符号结构和内容的象征性理论和象征性的象征性和内容来制定象征意义的背景知识。史蒂文古老的旧版典型的字典。我们通过将其转换为在我们的本体模式中来重新设计已经存在于异质资源中以产生溢流的象征性，这是完全致力于文化象征主义的第一个知识图。提出了在知识图上运行的第一个实验，以显示对象征主义定量研究的潜力。

Autonomous underwater vehicles (AUVs) are becoming standard tools for underwater exploration and seabed mapping in both scientific and industrial applications \cite{graham2022rapid, stenius2022system}. Their capacity to dive untethered allows them to reach areas inaccessible to surface vessels and to collect data more closely to the seafloor, regardless of the water depth. However, their navigation autonomy remains bounded by the accuracy of their dead reckoning (DR) estimate of their global position, severely limited in the absence of a priori maps of the area and GPS signal. Global localization systems equivalent to the later exists for the underwater domain, such as LBL or USBL. However they involve expensive external infrastructure and their reliability decreases with the distance to the AUV, making them unsuitable for deep sea surveys.

Two central paradigms have emerged in the reinforcement learning (RL) community: online RL and offline RL. In the online RL setting, the agent has no prior knowledge of the environment, and must interact with it in order to find an $\epsilon$-optimal policy. In the offline RL setting, the learner instead has access to a fixed dataset to learn from, but is unable to otherwise interact with the environment, and must obtain the best policy it can from this offline data. Practical scenarios often motivate an intermediate setting: if we have some set of offline data and, in addition, may also interact with the environment, how can we best use the offline data to minimize the number of online interactions necessary to learn an $\epsilon$-optimal policy? In this work, we consider this setting, which we call the \textsf{FineTuneRL} setting, for MDPs with linear structure. We characterize the necessary number of online samples needed in this setting given access to some offline dataset, and develop an algorithm, \textsc{FTPedel}, which is provably optimal. We show through an explicit example that combining offline data with online interactions can lead to a provable improvement over either purely offline or purely online RL. Finally, our results illustrate the distinction between \emph{verifiable} learning, the typical setting considered in online RL, and \emph{unverifiable} learning, the setting often considered in offline RL, and show that there is a formal separation between these regimes.

功能电刺激（FES）是一种通过低能电信号引起肌肉收缩的技术。 FES可以使四肢瘫痪。然而，关于如何应用FES实现所需运动的开放挑战仍然存在。人体的复杂性和肌肉反应的非平稳性引起了这一挑战。前者在执行逆动力学方面造成困难，而后者会导致控制性能在长期使用期间降解。在这里，我们通过数据驱动的方法参与挑战。具体而言，我们学会通过加强学习（RL）来控制FES，该学习可以自动自定义患者的刺激。但是，RL通常具有Markovian假设，而FES控制系统由于非平稳性而为非马克维亚。为了解决这个问题，我们使用经常性的神经网络来创建马尔可夫状态表示。我们将FES控制施加到RL问题中，并训练RL代理在模拟和现实世界中的不同环境中控制FES。结果表明，与PID控制器相比，我们的RL控制器可以长期保持控制性能，并具有更好的刺激特性。

在过去的几年中，如何最大化某种细胞表型以最大化某种细胞表型以最大化某种细胞表型的问题（例如，遗传编辑的CAR-T，CAR-NK和CAR-NKT细胞都进入了药物发育的中心阶段（例如癌症临床试验）。由于成本和实验限制，耗尽所有可能的遗传编辑（扰动）或其组合的搜索空间是不可行的。这项工作为迭代探索汇总批次扰动的空间提供了一个理论上合理的框架，以便在实验预算下最大化目标表型。受此应用程序域的启发，我们研究了批次查询匪徒优化的问题，并介绍了乐观的手臂消除（$ \ mathrm {oae} $）原则，旨在在查询（臂）和询问之间的不同功能关系下找到几乎最佳的手臂输出（奖励）。我们通过将其与算法函数类的eluder维度联系起来，并验证该$ \ mathrm {oae} $通过在模拟问题上找到最佳动作的其他策略来分析$ \ mathrm {oae} $的收敛属性。当回归模型是深层神经网络时，在强盗环境和遗传扰动数据集中进行了充分研究。 OAE在GenEdisco实验计划挑战中的4个数据集中的3个数据集中的3个数据集中还优于基准算法。

以离散特征为特征的现实世界数据集无处不在：从分类调查到临床问卷，从未加权网络到DNA序列。然而，最常见的无监督尺寸还原方法是为连续空间设计的，它们用于离散空间可能会导致错误和偏见。在这封信中，我们介绍了一种算法来推断离散空间中嵌入数据集的固有维度（ID）。我们证明了它在基准数据集上的准确性，并将其应用于分析物种指纹识别的宏基因组数据集，发现了一个令人惊讶的小ID，这表明尽管序列具有高度的序列性，但进化的压力在低维歧管上行动。' 空间。

我们在嵌套政策类别的存在下研究匪徒场景中的模型选择问题，目的是获得同时的对抗和随机性（“两全其美”）高概率的遗憾保证。我们的方法要求每个基础学习者都有一个候选人的遗憾约束，可能会或可能不会举行，而我们的元算法按照一定时间表来扮演每个基础学习者，该时间表使基础学习者的候选人后悔的界限保持平衡，直到被发现违反他们的保证为止。我们开发了专门设计的仔细的错误指定测试，以将上述模型选择标准与利用环境的（潜在良性）性质的能力相结合。我们在对抗环境中恢复畜栏算法的模型选择保证，但是在实现高概率后悔界限的附加益处，特别是在嵌套对抗性线性斑块的情况下。更重要的是，我们的模型选择结果也同时在差距假设​​下的随机环境中同时保持。这些是在（线性）匪徒场景中执行模型选择时，可以达到世界上最好的（随机和对抗性）保证的第一个理论结果。

强化学习（RL）的经典理论主要集中在单个任务设置上，在该设备设置中，代理商学会通过反复试验的经验来解决任务，仅从该任务中访问数据。但是，许多最近的经验工作表明，利用跨多个相关任务训练的联合代表的实践好处。在这项工作中，我们从理论上分析了这样的设置，将与任务相关性的概念形式化为共享的状态行动表示，该表示在所有任务中都接受线性动态。我们介绍了用于Multitask MatrixRl的共享matrixrl算法。在$ p $ dimension $ d $共享联合$ r \ ll d $低维表示的情况下，我们向$ o o提高了对$ p $任务的遗憾（phd \ sqrt { nh}）$ to $ o（（（HD \ sqrt {rp} + hp \ sqrt {rd}）\ sqrt {nh}）$ bo $ n $ n $ n $ episodes of horizo​​n $ h $。这些收益与上下文匪徒和RL中其他线性模型中观察到的收益一致。与以前研究过其他函数近似模型中多任务RL的工作相反，我们表明，在具有双线性优化的Oracle和有限状态作用空间的存在下，多任务矩阵的计算有效算法通过减少到Quadratic编程。我们还开发了一种简单的技术，可以从某些情节线性问题的遗憾上限中刮除$ \ sqrt {h} $ factor。